Tháng 4 năm 1989, ông chuyển ra Hà Nội tham gia Chính phủ, làm Chủ nhiệm Ủy ban Kế hoạch Nhà nước thay ông Đậu Ngọc Xuân. Ông được Thủ tướng Đỗ Mười giao trách nhiệm đứng đầu nhóm soạn thảo Chiến lược ổn định và phát triển kinh tế xã hội đến năm 2000.

Cuối năm 1991, ông được bầu làm Ủy viên Bộ Chính trị, Phó Thủ tướng thường trực trong Chính phủ Thủ tướng Võ Văn Kiệt.

Từ tháng 9 năm 1997 ông là Đại biểu Quốc hội, Ủy viên Bộ Chính trị, Ủy viên Thường vụ Bộ Chính trị khóa VIII, Thủ tướng Chính phủ nước Cộng hòa Xã hội Chủ nghĩa Việt Nam.[2]

Ngày 16 tháng 6 năm 2006 ông xin từ nhiệm trước khi kết thúc nhiệm kỳ của mình một năm, sau Đại hội Đảng, tại kỳ họp Quốc hội (cùng với các ông Trần Đức Lương, Nguyễn Văn An).[2][4] Người kế nhiệm ông là Nguyễn Tấn Dũng. Trong diễn văn kết thúc, ông xin lỗi nhân dân vì đã để tình trạng tham nhũng nghiêm trọng diễn ra: "Để tham nhũng nghiêm trọng, tôi nhận lỗi trước nhân dân". "Điều tôi trăn trở là vì sao một số mặt yếu kém về kinh tế xã hội và bộ máy công quyền đã được nhận thức từ lâu, đã đề ra nhiều chủ trương biện pháp khắc phục nhưng sự chuyển biến rất chậm, thậm chí có mặt còn diễn biến xấu hơn."[5]